لطفا جهت اطلاع از آخرین دوره ها و اخبار سایت در
کانال تلگرام
عضو شوید.
آموزش عیب یابی اسپارک آپاچی [فیلم]
Troubleshooting Apache Spark [Video]
نکته:
آخرین آپدیت رو دریافت میکنید حتی اگر این محتوا بروز نباشد.
نمونه ویدیوها:
توضیحات دوره:
Apache Spark مدت زیادی است که وجود داشته است، اما آیا واقعاً می دانید که چگونه مشکلات توسعه و مشکلاتی را که با آن روبرو هستید حل کنید؟ این دوره به شما امکانات جدیدی می دهد و جنبه های زیادی از Apache Spark را پوشش می دهید. ممکن است برخی را بشناسید و برخی را که احتمالا هرگز نمی دانستید وجود دارند. اگر زمان زیادی برای یادگیری و انجام وظایف در Spark صرف می کنید، نمی توانید از قابلیت ها و ویژگی های کامل آپاچی اسپارک استفاده کنید و در مسیر توسعه خود با موانعی روبرو خواهید شد. شما با مشکلاتی مواجه خواهید شد و به دلیل مشکلات و اشکالات رایج، نمی توانید فرآیند توسعه خود را بهینه کنید. شما به دنبال تکنیک هایی هستید که می توانند شما را از افتادن در هر گونه دام و خطای رایج در طول توسعه نجات دهند. با استفاده از این دوره شما یاد خواهید گرفت که چند تکنیک عملی و اثبات شده را برای بهبود جنبه های خاص Apache Spark با تحقیقات مناسب پیاده سازی کنید.
شما باید مشکلات و مسائل رایجی که توسعه دهندگان Spark با آن مواجه هستند را درک کنید، آنها را جمع آوری کنید و راه حل های ساده ای برای این مشکلات بسازید. یکی از راههای درک مسائل رایج این است که به دنبال جستجوهای Stack Overflow باشید. این دوره یک دوره عیب یابی با کیفیت بالا است که مشکلاتی را که توسعه دهندگان در مراحل مختلف توسعه اپلیکیشن با آن مواجه می شوند برجسته می کند و راه حل های ساده و کاربردی برای این مسائل در اختیار آنها قرار می دهد. راه حل هایی را برای برخی از مشکلات و چالش های پیش روی توسعه دهندگان ارائه می دهد. با این حال، این دوره همچنین بر کشف احتمالات جدید با اسپارک آپاچی تمرکز دارد. تا پایان این دوره بدون دردسر مشکلات اسپارک خود را حل کرده اید.
تمامی کدها و فایل های پشتیبانی این دوره در Github در https://github.com/PacktPublishing/Troubleshooting-Apache-Spark موجود است •حل مشکلات محاسباتی طولانی مدت با استفاده از ارزیابی تنبلی در Spark
•با درک مدیریت حافظه داخلی آپاچی اسپارک از نشت حافظه جلوگیری کنید
• مشکلات دوباره کاری به دلیل کوچک نشدن خطوط لوله با استفاده از پارتیشن ها
• اشکال زدایی و ایجاد توابع تعریف شده توسط کاربر که Spark API را غنی می کند
• بسته به ویژگی های داده های ورودی خود، یک استراتژی پیوستن مناسب را انتخاب کنید
• عیب یابی API های اتصال - DataFrames یا DataSets
• کدی بنویسید که ایجاد شی را با استفاده از API مناسب به حداقل برساند
• عیب یابی خطوط لوله بلادرنگ نوشته شده در Spark Streaming
اگر در ابتدای راه خود یک توسعه دهنده آپاچی اسپارک هستید و در هنگام استفاده از آن با مشکلات سخت زیادی مواجه می شوید، این دوره برای شما مناسب است. شما یاد خواهید گرفت که چگونه رایج ترین مشکلات کاربران آپاچی اسپارک را حل کنید • منابع و هزینه ها را با استفاده از سرعت Spark بهینه کنید * • عیب یابی DAG اجرای Spark با کاوش در طرح های جستجوی منطقی و فیزیکی Spark برای اجرای منطق مشابه بر روی مجری ها و ماشین های کمتر * • حل مشکل کارهای کند با سرعت بخشیدن به حلقه های بازخورد با ایجاد تغییرات و اتصالات کارآمد با استفاده از Spark API * *
سرفصل ها و درس ها
مشکلات رایج و عیب یابی موتور توزیع شده اسپارک
Common Problems and Troubleshooting the Spark Distributed Engine
انجام محاسبه مجدد غیر ضروری: استفاده مجدد از RDD
Performing Unnecessary Recomputation: Reusing RDDs
عیب یابی مشاغل پردازش بلادرنگ در Spark Streaming
Troubleshooting Real-Time Processing Jobs in Spark Streaming
تکرار همان کد در Stream Pipeline: با استفاده از منابع و سینک ها
Repeating the Same Code in Stream Pipeline: Using Sources and Sinks
تأخیر طولانی مشاغل: درک موارد داخلی دسته ای
Long Latency of Jobs: Understanding Batch Internals
تحمل خطا: استفاده از Data Checkpointing
Fault Tolerance: Using Data Checkpointing
حفظ دسته ای و جریانی: استفاده از نرم افزارهای جریان سازی ساختاریافته
Maintaining Batch and Streaming: Using Structured Streaming Pros
نمایش نظرات
Packtpub یک ناشر دیجیتالی کتابها و منابع آموزشی در زمینه فناوری اطلاعات و توسعه نرمافزار است. این شرکت از سال 2004 فعالیت خود را آغاز کرده و به تولید و انتشار کتابها، ویدیوها و دورههای آموزشی میپردازد که به توسعهدهندگان و متخصصان فناوری اطلاعات کمک میکند تا مهارتهای خود را ارتقا دهند. منابع آموزشی Packtpub موضوعات متنوعی از جمله برنامهنویسی، توسعه وب، دادهکاوی، امنیت سایبری و هوش مصنوعی را پوشش میدهد. محتوای این منابع به صورت کاربردی و بهروز ارائه میشود تا کاربران بتوانند دانش و تواناییهای لازم برای موفقیت در پروژههای عملی و حرفهای خود را کسب کنند.
توماس للک یک مهندس نرم افزار است که بیشتر در جاوا و اسکالا برنامه نویسی می کند. او از طرفداران معماری میکروسرویس و برنامه نویسی کاربردی است. او هر روز زمان و تلاش قابل توجهی را برای بهتر شدن اختصاص می دهد. او اخیراً به فناوریهای کلان داده مانند Apache Spark و Hadoop پرداخته است. او تقریباً به همه چیزهایی که با توسعه نرم افزار مرتبط است علاقه دارد.
توماس فکر می کند که همیشه باید سعی کنیم قبل از حل یک مشکل راه حل ها و رویکردهای مختلف را در نظر بگیریم. او اخیراً در چندین کنفرانس در لهستان - Confitura و JDD (روز توسعهدهنده جاوا) و همچنین در گروه کاربری Krakow Scala سخنران بود. میتوانید ویدیوی JDD را در اینجا پیدا کنید: https://www.youtube.com/watch?v=BnORjQbnZNQ&t - بحث ML Spark.
او همچنین یک جلسه برنامه نویسی زنده در کنفرانس Geecon برگزار کرد. او در حال حاضر روی این وب سایت با استفاده از ML کار می کند: http://www.allegro.pl
نمایش نظرات